Laboratorio 1 - Data Science 1
Karina Alejandra Valladares Díaz
Carné 18005
José Eduardo López Gómez
Carné 181045
In [222]:
#importamos las librerías necesarias para trabajar
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from factor_analyzer import FactorAnalyzer
from sklearn.decomposition import PCA
from sklearn import preprocessing
from pandas_profiling import *
from apyori import apriori
In [223]:
#Utilizar únicamente el train
data = pd.read_csv("train.csv") #usamos el Id como índice
data #mostramos la data (1460 registros con 80 variables )
Out[223]:
Procederemos a quitar la variable "Id" dado que no nos es de utilidad porque pandas tiene su propia indexación.¶
In [224]:
data = data.drop( columns= "Id") #removemos la varaible "id"
In [225]:
data #vemos que se removiera con éxito
Out[225]:
Correr las lineas de abajo únicamente si se desea obtener el documento de Pandas Profiling¶
In [226]:
#profile = ProfileReport(data, title = "Reporte Laboratorio 1", explorative = True, correlations={"cramers": {"calculate": False}}) #generamos el Codebook, le ponemos un titulo y que sea interactivo
In [227]:
#profile.to_file("ReporteLab1.html") #imprimimos el HTML
Mostramos un poco de estadística descriptiva para las variables que tenemos (solo las numéricas)¶
In [228]:
data.describe() #estadística básica
Out[228]:
mostramos información un poco más detallada de las variables trabajadas en la celda anterior¶
In [229]:
data.describe
Out[229]:
Hacemos una matriz de correlación para observar la correlación entre las variables (Solo los variables numéricas)¶
In [230]:
sns.heatmap(data.corr()) #mostramos la correlación entre las variables
Out[230]:
Conclusión¶
Podemos observar que hay variables que están bastantes correlacionadas por lo que deberemos proceder a removerlas a la hora de hacer las pruebas de esfericidad de Barlett y las pruebas $\chi^2$ y la prueba del valor p. Más adelante tendremos que hacer una limpieza más profunda de los datos, para correr las pruebas y el PCA, el análisis de factores y el algoritmo apriori.
Observamos gráficos entre variables para ver su comportamiento, para ellos utilizamos un pairplot (incluye, gráficos de densidad, de dispersión, histogramas, entre otros).¶
In [231]:
sns.pairplot(data)
Out[231]:
Definimos un par de funciones para limpiar la data¶
In [232]:
def generar_id(df): #función generadora de índices
return list(range(0, len(df)))
def limpiar(df, categoria): #función que limpia los datos (numéricos) con el promedio de una categoría dada
prom = df[categoria].mean()
for i in range(0, len(df)):
if str(df[categoria][i]) == "nan" or str(df[categoria][i]) == "NAN":
df[categoria][i] = float(prom)
Variables con Datos faltantes¶
- LotFrontage: 259 datos faltantes (rellenar con el promedio)
- MasVnrArea: 8 datos faltantes (eliminar las filas asosicadas a los dantos faltantes porque no representa más del 1% de la data total)
- GarageYrBlt: 81 faltantes (rellenar con el promedio)
In [233]:
data_limpia = data.dropna(0, subset = ["MasVnrArea"]) #removemos estos renglones
data_limpia.describe()
Out[233]:
In [234]:
data_limpia.index = generar_id(data_limpia)
In [235]:
limpiar(data_limpia,"LotFrontage") #limpiamos las variables que tienen los datos faltantes
limpiar(data_limpia,"GarageYrBlt")
Separamos las variables cuantitativas para comenzar con la visualizaciñon de dichas variables.¶
In [236]:
datos_cuantitativos = data.describe().columns
datos_cuantitativos
Out[236]:
Boxplots¶
In [237]:
#mostramos la data proyectada con ISOMAP
fig = plt.figure(figsize=(20,10))
ax = fig.add_subplot(151)
data.boxplot("MSSubClass")
ax.set_title("Boxplot 1")
ax = fig.add_subplot(152)
data.boxplot("LotFrontage")
plt.title('Boxplot 2')
ax = fig.add_subplot(153)
data.boxplot("LotArea")
ax.set_title("Boxplot 3")
ax = fig.add_subplot(154)
data.boxplot("OverallQual")
plt.title('Boxplot 4')
ax = fig.add_subplot(155)
data.boxplot("OverallCond")
plt.axis('tight')
plt.title('Boxplot 5')
plt.show()
Podemos que notar que hay variables que tienen una gran cantidad de datos atípicos en algunas variables, por ejemplo "LotFrontage" y "LotArea". Estos datos atípicos de alguna forma afectaran el análisis de factores y el PCA, por lo que es necesario remover dichas variables para poder obtener mejores resultados.
Histogramas y Gráficos de Frecuencia¶
In [238]:
fig1 = plt.figure(figsize=(20,10))
for k in datos_cuantitativos:
data.hist(k, bins = 8, color = "crimson")
plt.title("Histograma variable " + str(k))
Podemos observar que algunas variables numéricas se comportan como variables categoóricas por lo que se puede proceder aa eliminarlas para las pruebas a realizar posteriormente. Esto es con la finalidad de evitar el sesgo de los datos, con esto podremos obtener mejores resultaados. Además, podemos observar que la mayoría de histogramas presentan sesgos hacia la izquierda o hacia al derecha, por lo que se recomienda hacer varias corridas de las pruebas para alcanzar una que sea válida.¶
Pruebas¶
- Seleccionas los valores numéricos para analizar la correlación entre los datos
In [239]:
datos_pca = data[datos_cuantitativos]
datos_pca
Out[239]:
Revisamos que no existan valores nulos, si los hay procedemos a limpiarlos.¶
In [240]:
pca_nulos = datos_pca.isnull().sum().to_frame()
pca_nulos
Out[240]:
In [241]:
pca_na = datos_pca.isna().sum().to_frame()
pca_na
Out[241]:
Desplegamos nuevamente una matriz de correlación para ver las variables que tienen correlación 0. Dichas variables deben ser eliminadas.¶
In [242]:
sns.heatmap(datos_pca.corr())
Out[242]:
Variables eliminadas¶
- "PoolArea"
- "3SsnPorch"
- "MoSold"
- "ScreenPorch"
- "OpenPorchSF"
- "EnclosedPorch"
- "MiscVal"
- "BsmtFinSF2"
- "WoodDeckSF"
- "OverallCond"
- "HalfBath"
- "YrSold"
- "GarageYrBlt"
- "YearRemodAdd"
- "YearBuilt"
- "BsmtHalfBath"
- "BsmtFullBath"
- "LowQualFinSF"
- "MasVnrArea"
- "LotFrontage"
Estas variables fueron elimidas por tener un coeficiente de corelación de0, l ocual tendrá implicaciones significativas sobre el dataset a la hora de hacer las pruebas de esfericidad de Barllet, la $\chi^2$ y la prueba de KMO
In [243]:
data_final = datos_pca.drop(columns = ["PoolArea", "3SsnPorch", "MoSold", "ScreenPorch", "OpenPorchSF", "EnclosedPorch", "MiscVal", "BsmtFinSF2",
"WoodDeckSF", "OverallCond", "HalfBath", "YrSold", "GarageYrBlt", "YearRemodAdd", "YearBuilt", "BsmtHalfBath", "BsmtFullBath",
"LowQualFinSF", "MasVnrArea", "LotFrontage"])
In [244]:
data_final #mostramos la data con la que trabajeremos
Out[244]:
In [245]:
data_final.dtypes
Out[245]:
Luego de la limpieza obtenemos esta matriz de correlación¶
In [246]:
sns.heatmap(data_final.corr())
Out[246]:
podemos observar que son pocas las variables que tienen correlación cero, por lo que se espera que los algoritmos converjan.¶
In [247]:
np.linalg.det(np.array(data_final.corr())) #calculamos el determinante, vemos que es pequeño
Out[247]:
In [248]:
from factor_analyzer.factor_analyzer import calculate_kmo
from factor_analyzer.factor_analyzer import calculate_bartlett_sphericity
chi_square_value,p_value=calculate_bartlett_sphericity(data_final)
chi_square_value, p_value
Out[248]:
podemos observar que si es válido hacer un análisis de factores dada la pruebas de chi cuadrado y la prueba del valor p.¶
In [249]:
kmo_all,kmo_model=calculate_kmo(data_final)
kmo_model
Out[249]:
podemos observar que si es válido hacer un PCA dada la prueba KMO¶
In [250]:
# hacemos el análisis de factores con 8 factores
fa = FactorAnalyzer(n_factors = 8, rotation="varimax")
fa.fit(data_final)
# Check Eigenvalues
ev, v = fa.get_eigenvalues()
ev
Out[250]:
In [251]:
plt.scatter(range(1,data_final.shape[1]+1),ev)
plt.plot(range(1,data_final.shape[1]+1),ev)
plt.title('Resultados Análisis de Factores')
plt.xlabel('Factores')
plt.ylabel('Eigenvalores')
plt.grid()
plt.show()
In [252]:
fa.loadings_
Out[252]:
In [253]:
fa.get_factor_variance()
Out[253]:
In [254]:
factores = list(range(1, len(fa.get_factor_variance()[2]) + 1))
factores
Out[254]:
In [255]:
plt.scatter(factores, fa.get_factor_variance()[2])
plt.plot(factores, fa.get_factor_variance()[2])
plt.xlabel('Número de Factores')
plt.ylabel('Varianza acumulada')
plt.grid()
In [256]:
print("Varianza acumulada: ", fa.get_factor_variance()[2])
Podemos observar que con 8 factores es posible representar el 76% de los datos por lo que es viable hacer una análisis de factores.¶
In [257]:
data_final_norm = (data_final - data_final.mean())/data_final.std() #normalizamos la data para el PCA
In [258]:
pca = PCA(n_components = 9) # usamos 9 componentes
model = pca.fit_transform(data_final_norm)
In [259]:
pca.components_
Out[259]:
In [260]:
df_pca = pd.DataFrame(pca.components_)
df_pca
Out[260]:
Los coeficientes principales están representando las variables más importantes relacionadas con el resto de varaibles que fueron aboservidas con el fin de reducir la cantidad utilizada.¶
In [261]:
componentes = list(range(1, len(pca.explained_variance_ratio_) + 1))
In [262]:
pca.explained_variance_ratio_
Out[262]:
In [263]:
pca.explained_variance_
Out[263]:
In [264]:
plt.scatter(componentes,pca.explained_variance_)
plt.plot(componentes, pca.explained_variance_)
plt.xlabel('Número de componentes' )
plt.ylabel('Varianza explicada')
plt.grid()
In [265]:
plt.scatter(componentes, np.cumsum(pca.explained_variance_ratio_))
plt.plot(componentes, np.cumsum(pca.explained_variance_ratio_))
plt.xlabel('Número de componentes')
plt.ylabel('Varianza acumulada')
plt.grid()
plt.show()
Podemos observar que los datos del PCA se comportan de manera similar a los de análisis de factores, pero en el PCA podemos explicar con 9 componentes más del 90% de los datos, por lo que es viable¶
Reglas de Asignación¶
In [266]:
data_cualitativa = data[data.columns[~data.columns.isin(datos_cuantitativos )]]
In [267]:
data_cualitativa
Out[267]:
In [268]:
data_cualitativa.groupby("GarageQual").count()
Out[268]:
In [269]:
def label_function(val):
return f'{val / 100 * len(data_cualitativa):.0f}\n{val:.0f}%'
data_cualitativa.groupby('GarageQual').size().plot(kind='pie', autopct=label_function, textprops={'fontsize': 20},
colors=['tomato', 'gold', 'skyblue', "crimson"])
Out[269]:
In [270]:
data_cualitativa.groupby('Utilities').size().plot(kind='pie', autopct=label_function, textprops={'fontsize': 10},
colors=['tomato', 'gold', 'skyblue', "crimson"])
Out[270]:
In [271]:
data_cualitativa.groupby('Foundation').size().plot(kind='pie', autopct=label_function, textprops={'fontsize': 10},
colors=['tomato', 'gold', 'skyblue', "crimson"])
Out[271]:
In [272]:
data_cualitativa.groupby('Heating').size().plot(kind='pie', autopct=label_function, textprops={'fontsize': 10},
colors=['tomato', 'gold', 'skyblue', "crimson"])
Out[272]:
In [273]:
data_cualitativa.groupby('SaleType').size().plot(kind='pie', autopct=label_function, textprops={'fontsize': 10},
colors=['tomato', 'gold', 'skyblue', "crimson"])
Out[273]:
Podemos ver que en los gráficos de pie tenemos datos que ocasionaran overfitting por lo que procederemos a removerlos en su mayoría, por lo tanto se quitarán las siguientes variables por dicha razón:¶
Variables a Remover¶
- "GarageCond"
- "Fence"
- "PoolQC"
- "GarageQual"
- "KitchenQual"
- "Condition1"
- "LandSlope"
- "MiscFeature"
- "FireplaceQu"
- "HeatingQC"
- "LandContour"
- "Alley"
- "Condition2"
- "BsmtCond"
- "BsmtQual"
- "BsmtFinType2"
- "BsmtFinType1"
- "ExterQual"
- "ExterCond"
- "GarageFinish"
- "Exterior1st"
- "Exterior2nd"
- "BldgType"
- "LotShape"
- "HouseStyle"
- "RoofMatl"
- "BsmtExposure"
- "MasVnrType"
- "GarageType"
- "CentralAir"
- "MSZoning"
- "PavedDrive"
- "RoofStyle"
- "LotConfig"
- "Street"
- "Utilities"
- "Heating"
In [274]:
data_priori = data_cualitativa.drop(columns = ["GarageCond", "Fence", "PoolQC", "GarageQual", "KitchenQual", "Condition1", "LandSlope", "MiscFeature",
"FireplaceQu", "HeatingQC", "LandContour", "Alley", "Condition2", "BsmtCond", "BsmtQual", "BsmtFinType2",
"BsmtFinType1", "ExterQual", "ExterCond", "GarageFinish", "Exterior1st", "Exterior2nd", "BldgType",
"LotShape", "HouseStyle", "RoofMatl", "BsmtExposure", "MasVnrType", "GarageType", "CentralAir", "MSZoning",
"PavedDrive", "RoofStyle", "LotConfig", "Street", "Utilities", "Heating"])
data_priori
Out[274]:
In [275]:
data_priori.columns
Out[275]:
In [276]:
records = []
for i in range(0, len(data_priori)):
records.append([str(data_priori.values[i,j]) for j in range(0, 6)])
In [277]:
association_rules = apriori(records)
association_results = list(association_rules)
In [278]:
for i in range(0, 5):
print(association_results[5*i], "\n")
Podemos ver que algunas palabras si tienen un suporte alto, pero en general el soporte no es mayor a 0.5. Por lo que no es recomedable hacer este tipo de asosiaciones por que no se obtendran buenos resultados.¶
Conclusiones¶
Es posible efectuar una análisis de factores con dado que las pruebas de hipótesis de chi cuadrado y el valor p lo permiten. Se pueden obtener bueno resultados.
Es posible hacer un PCA, dado que la prueba de KMO es válida, además, se obtienen buenos resultados al ahcerlo.
No es recomendable hacer reglas de asosiación porque no se obtienen buenos resultados con la data.